Sinh ở Bootle, Merseyside, Carragher gia nhập trường đào tạo bóng đá trẻ của FA ở Lilleshall từ khi còn nhỏ và từng là thành viên của Liverpool vô địch cúp FA dành cho các đội trẻ vào năm 1996 cùng người bạn Michael Owen. Anh ký hợp đồng thi đấu chuyên nghiệp vào tháng 10 năm 1996 và sau đó có trận đấu đầu tiên dưới thời huấn luyện viên Roy Evans 3 tháng sau ở lượt về bán kết cúp Liên đoàn bóng đá Anh tiếp Middlesbrough, vào sân từ ghế dự bị thay Rob Jones. Tiếp đó là lần ra sân đầu tiên ở Premier League, khi vào sân từ ghế dự bị trong trận tiếp West Ham United. Anh sau đó ra sân từ đầu tron trận tiếp Aston Villa và gây ấn tượng với bàn đầu tiên từ một cú đánh đầu trong chiến thắng 3-0 đưa Liverpool lên ngôi đầu bảng xếp hạng, nhưng sau đó Liverpool chỉ về đích với vị trí thứ tư. Vào mùa giải 1997-98, Carragher được đưa vào đội hình chính, và có 20 trận ra sân ở Premier League. Ở mùa giải tiếp đó anh thi đấu hầu hết tất cả các trận ở đội chính, chỉ bỏ lỡ 4 trận, và anh được Kevin Keegan gọi vào đội tuyển quốc gia.[4]

Thời gian đầu anh được dùng như một cầu thủ đa năng, chơi cả ở vị trí trung vệ, hậu vệ phải, hậu vệ trái và tiền vệ lùi. Vào mùa giải 1999-2000, anh được giao nhiệm vụ đá hậu vệ phải, mùa giải này chứng kiến một trong những khoảng khắc đáng quên nhất trong sự nghiệp của Carragher khi anh phản lưới nhà 2 quả trong trận thua 3-2 trước Manchester United ở sân nhà, sau đó vào mùa giải 2000-01 anh chuyển sang đá hậu vệ trái. Năm 2001 cũng chứng kiến những danh hiệu đầu tiên trong sự nghiệp Carragher: cúp FA, cúp UEFA, cúp Liên đoàn bóng đá Anh (anh ghi bàn trong trận chung kết tiếp Birmingham), siêu cúp Anh và Siêu cúp bóng đá châu Âu.[4]

Anh đã gây ấn tượng không tốt vào tháng 1 năm 2002 trong trận đấu ở cúp FA tiếp Arsenal, khi anh ném một đồng xu lên khá đài sau khi nó đã được ném vào anh. Carragher nhận thẻ đỏ vào phải chịu hình phạt từ liên đoàn bóng đá Anh. Từ năm 2002 cho tới năm 2004 Carragher đã phải chịu 2 chấn thương nặng, cái đầu tiên ở đầu gối khiến anh lỡ World Cup 2002 và sau đó anh đã bị gãy chân sau cú phạm lỗi của Lucas Neil tron trận tiếp Blackburn Rovers trong trận đấu thứ năm của câu lạc bộ trong mùa giải. Trong mùa giải đó, vị trí của Carragher cũng đã được thay thế bởi hai tân binh Steve Finnan và John Arne Riise. Tuy nhiên, anh vẫn lấy lại được vị trí số 1, với 24 lần ra sân trong giai đoạn đầu năm 2004.

Mùa giải 2004-05 là một bước tiến mới trong sự nghiệp Carragher. Tân huấn luyện viên Rafael Benítez để anh chơi ở vị trí trung vệ nơi anh đã có 56 trận cùng Sami Hyypia. Carragher chứng tỏ được khả năng ở vj trí trung vệ. Carragher được biết đến như một hậu vệ khoẻ và chọn vị trí thông minh. Anh cùng Hyypia trở thành những cầu thủ chủ chốt trong chức vô địch cúp C1 mùa bóng 2004-05. Một trong những khoảnh khắc đáng nhớ nhất trận là khi Carragher thực hiện 2 cú chặn bóng liên tiếp ở hiệp phụ. Carragher được bầu chọn là cầu thủ Liverpool hay nhất mùa giải. Anh sau đó đeo băng đội trưởng trong trận thắng trước CSKA Moscow ở trận siêu cúp châu Âu 2005.[5]

Vào ngày 13 tháng 5 năm 2006, Carragher chơi trong trận chung kết cúp FA gặp West Ham United. Đó là trận chung kết thứ 10 trong 10 năm của anh ở đội bóng. Anh thực hiện một cú phản lưới nhà ở phút 21, nhưng Liverpool vẫn thắng 3-1 trên chấm penalty sau kết quả 3-3 ở hiệp chính và hiệp phụ.

Vào ngày 9 tháng 12 năm 2006, Carragher ghi bàn đầu tiên ở giải ngoại hạng Anh từ tháng 1 năm 1999, trong trận tiếp Fulham ở Anfield. Đối tác của anh ở vị trí trung vệ Daniel Agger tạt bóng sau một quả phạt góc, và Carragher đưa bóng vào góc xa khung thành thủ môn Jan Lastuvka. Đó mới chỉ là bàn thắng thứ tư của anh cho Liverpool trong sự nghiệp.

Trong trận bán kết lượt về cúp Champions League tiếp Chelsea vào ngày 1 tháng 5 năm 2007, Carragher lập kỉ lục về số lần ra sân cho câu lạc bộ ở cúp châu Âu. Đó là lần thứ 90 của anh, phá vỡ kỉ lục 89 lần của Ian Callaghan từ năm 1964 đến 1978. Carragher được bầu chọn là cầu thủ xuất sắc nhất mùa giải 2006-07 bởi cổ động viên và sau đó gia hạn hợp đồng đến năm 2011. Mùa giải đó cũng chứng kiến việc Carragher chia tay đội tuyển quốc gia do được ra sân quá ít dưới thời huấn luyện viên Steve McClaren.

Mùa giải 2007-08 chứng kiến lần ra sân thứ 500 của Carragher cho Liverpool. Anh là đội trưởng ở trận đó và hiện đứng thứ 9 trong bảng xếp hạng các cầu thủ thi đấu nhiều nhất cho Liverpool.

Vào ngày 18 tháng 5 năm 2009, trong trận tiếp West Bromwich Albion, Carragher đã tham gia vào vụ xô xát với đồng đội Álvaro Arbeloa nhưng rất may 2 cầu thủ này đã được can bởi 2 đồng đội Xabi Alonso, Daniel Agger và một số cầu thủ khác. Huấn luyện viên Rafael Benítez sau đó đã từ chối trả lời bất cứ điều gì về vấn đề này. Cựu hậu vệ đội tuyển Anh sau đó giải thích, "Chúng tôi muốn giữ sạch lưới và muốn Reina có danh hiệu đôi găng tay vàng."